BtoBのUXの効果測定に使えそうなNPS・SUSとは？〜UX Bridgeに参加してきました〜

BtoB/BtoBtoCサービスにおけるUX勉強会に参加しました。UXがなかなか進まないのは、効果測定しにくいからかもしれません。今回は、それを打破するためのNPS（ネットプロモータースコア）やSUS(System Usability Scale)について聞いてきました。

#デザイン

#マーケティング

#IA

#アジャイル

#ユーザビリティ

たいさ

2017.07.07

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

「BtoB/BtoBtoCサービスにおけるUX勉強会」というキャッチに惹かれて、参加してきました。UX勉強会は、BtoC向けや初心者向けが多くて、当たり外れもバラバラなのですが、久しぶりに実りのある会だったので、レポートします。NPSやSUSは、ひとつめのセッションのレポートからご覧いただけます。キャッチ画像の「ABMで世界を変える」に関しては、4つめのセッションレポートをご覧ください。

参加した勉強会：UX Bridge vol.1｜開催日時：2017年7月6日（木）19:30〜 in 渋谷

Emotion Tech 中島氏：UX評価指標とUX改善

スピーカーは、普段はフロントエンドの開発をしていて、最近UXを始めた。
運営しているEmotionTech（アンケートサービス）のプロダクトKPI例
- 日別　DAU
- 月別　MAU, MoM
これだけだと要因を分析しづらいので、アンケートを実施して定性評価も平行している
アンケートの内容
- 目的達成度
- 推奨度
  - プロダクト
  - 担当者のサポート
- 推奨度をつけた要因
推奨度をNPSスコアに変換して、KPIとして毎月計測している
NPS（ネットプロモータースコア）とは
- 顧客ロイヤルティを数値化する指標
  - 0〜6：批判者
  - 7,8：中立者
  - 9,10：推奨者
  - 推奨者 - 批判者 = NPS
- NPSが高ければ高いほど、長期的な収益を左右する
なぜNPSを指標として利用しているのか？
- UXの評価を含んだすべての指標がNPSにまとめられる、ため
NPSだけでいいのか？
- 顧客ロイヤルティの高い低いのみ
- 使い勝手が良いと感じたかどうかが影響する
UXの評価指標
- パフォーマンスの指標
  - タスク成功率
  - タスク実行時間
    - 早くなればなるほど、いいとは限らないことは注意してほしい
  - タスク効率
    - カウントの数が少ない方がいいとされてるけど、それだけに絞ってもよくない
    - 時間がよりかかってしまう、のであれば良いとはいえない
  - エラー率
    - タスクの中で複数のエラー機会がある場合
    - 2エラー / 5エラー機会 = 40%
  - パフォーマンスは使い勝手の満足度に直結するとは限らない
- 満足度の指標
  - SUS（System Usability Scale）
    - ユーザビリティの受け止められ方を測定&指標化
    - 10の質問に対し、5段階で評価する
    - 最終的に 0〜100 の値で評価できる
    - 特徴
      - 質問のテンプレートが公開されている
      - 幅広いユーザーから聞くことができる
      - 少ないサンプル数でも信頼できる（7〜10とか）
      - NPSと高い相関関係がある
    - SUSの質問
      - すでに形式がある（参照：ウェブサイトユーザビリティ評価のためのSUS(System Usability Scale)）
      - 肯定的な質問と否定的な質問を交互に聞くような内容になっている
      - 算出方法は少し複雑
        
        奇数の質問項目　スコア - 1
        
        偶数の質問項目　5 - スコア
        
        合算したスコア x 2.5
        
        平均は 68点
    - 評価指標の使い方 SUSとNPS
      - 推奨者は平均82
      - 批判者は平均67
      - SUSのスコアを80以上を目標にする
  - WUS（Web Usability Scale）
  - CSUQ（Computer System Usability Questionnaire）
  - QUIS（Questionnaire for User Interface Satisfication）
まとめ
- UXの改善には複数の指標を利用する
- パフォーマンス（タスク達成率等）
- 満足度（SUSなど）

スタートアップテクノロジー小野氏：失敗から学ぶUXへの取り組み

前置き
- UXはどんな環境でも取り組めるものではないという話
- UXに取り組むことによってより良い価値を提供できるようになると思います。
- その制作物や手法が必要か？というところからヒヤリングしながら提案していくスタイルで仕事を進めている
- UX設計を導入するのに、いちばん大切なのはチームビルディング
UXの説明
- ひとことでいうと、良し悪し関係なくサイトや商品を通じて得たユーザーの体験
- UXを構築する要素(UXハニカム)
- UI ≠ UX
- 良いUI ≠ 良いUX
- 癖のあるUIでも良いUXはある（たとえば、バイオハザードは操作しづらいけど、それが却って怖さを倍増させる）
- UXとUIの関係性
UXの導入タイミングとは？
- UX設計を主に行うフェーズ
  - 設計と改善（リリース後）
- 設計のときは、UXの具体的な提案はしない
- UXには問題がある
  - UXのUXは悪い
    - UXが概念であること
    - UXの解釈が人によって異なってしまうことがあること
    - 視覚的でないので、感覚で理解できない
- どうすればいいか？
  - UXという言葉を使わない設計をする
    - カスタマージャーニーマップやワイヤーなど、資料を具体的に視覚化、設計を固めていく
    - ペーパープロトタイピングなど視覚化できる部分でのユーザーテストを行なっていく、この中で、UXについての理解を深めていってもらう
UXの本番は運用後
- 想定では見えなかったことが、運用すると見えてくる
  - カスタマージャーニーマップやペルソナ設計は結局のところ仮定でしかなく、また、プロトタイプではなく機能が載った状態のものを人間が動かしだすと、どうしても想定とは全く違う問題が発生するため。
  - 実際にお客さんの意見を聞きつつ、改善することでお客様に対する「価値」が高まり、それがより良いUXとなっていく。
- 人類は常に僕らの想像を超えてくる
  - ユーザーの行動は全ては読めない
  - 想定してた導線では全然こねぇ！
- CJMやペルソナでは全ては把握できない
失敗事例の紹介
- そもそもUXの改善にいきつかなかった
  - リリースまで気合いで頑張った！
  - リリースしてから問題は起きた！！
    - 想定外の不具合の大量発生！！！
    - 予想しなかった導線でばかり利用された…
    - ユーザの評価が「問題がある」ばかりで先に進めない
  - 新機能を開発するたびに起こる
    - バグよりも新機能を優先する体制…
    - 社内で一度もテストしない
    - 一応仕様を知っているメンバー内ではチェックをしてたけど、誰も製品に興味を持っていなかったので、ユーザーテストもしなかった
    - 社内で実施しようと思ったけど、新機能が優先されて結局ほぼ一度もユーザーテストされなかった
  - リリースを焦ることでの落ち度
    - 各々が自分の仕事を遂行し、リリースまでしていたが、いつも不具合で、ユーザーからは一向に要望や感想がなく、バグ報告ばかり。なぜこんなことが続くのか…
  - このプロダクトのトップが、自分の夢を詰め込むことを優先しすぎて、実際のユーザーのことを考えられていなかったのが大きい問題となった。
このことからの学び
- 不具合は仕方ないものだが、使えない！という場面に出会ってしまうとユーザーからはそれ以外の意見が出てこないので、ミニマムでもいいので、ユーザーに「物足りない」と思わせて要望を出させるのが改善につながる
- エンジニアやデザイナー、PMなどの仕様を把握しているメンバー自体だけではなく、その上司も含めてチームでプロダクト、UXに対する理解をすることが大切
- UXを導入するなら、チームにUXの理解を得られることが重要

Sansan 峰松氏：ユーザ規模の変化に応じた最適なUX設計とは

自己紹介
- 新卒入社で1年目からPMしてきて、現在4年目
サービス紹介
- 2007年6月から運用開始、現在社員は300名
UX設計の事例
- ユーザ規模の変化に応じた最適なUX設計とは
- 事業の成長に伴うプロダクトを取り巻く環境の変化
- 2014年と現在の比較
  - 導入社数：2,000 -> 6,000
  - 1契約あたりの最大ユーザ数：1000くらい -> 数万
  - 利用するユーザ：営業を中心としたフロント職 -> 全社員
  - キャッチコピー：営業を強くする名刺管理　-> 名刺を企業の資産に変える
- ケース1：同僚名刺検索
  - ユーザが少ないときは、ただのセレクトボックスでもよかったが、100人以上いるとカオス！
  - → セレクトボックスに検索性をもたせた
- ケース2：手動名寄せの候補件数表示
  - 会社と名前が一緒だったら、システムでできるけど…
  - 会社が違う場合はユーザーにやってもらわないと難しいので、名寄せ機能を実装した。
    - 加えて、名寄せが必要な名刺数を表示するようにした…かったけど、パフォーマンスの問題があって、採用できなかった
    - データ数が100万以上ある上に、データ量が現在進行形で増えてるので、どんどん数が取れなくなっていく。
    - いつまでたっても、数字が出てこないのはUX悪いよね、と。
    - 文言の統一と、数字はバッチ形式にすることで、タイムアウト問題に対応した
  - 結果！この機能の利用者数は約2倍に！！
- ケース3：コミュニケーションメール
  - 「登録後にいちばん最初に送っているメールで、SanSanで何が実現できるかをユーザに伝える」メールの中身を工夫するようにした
  - たとえば、SanSanを取り入れたことによって、何がどう変わるのかのアピール文章の一部「営業を強くする」から「人脈を紹介してもらえます」へ
まとめ
- 事業の成長に伴い、設計時にケアすべきことが変わる
- 規模の増加 -> 検索性の低下、パフォーマンスを考慮した設計
- ユーザ層の変化 -> 訴求メッセージの最適化
  - 営業以外の職業の人も使っていることが数値で見えてきた
- ただし、捨てる判断も重要です
  - 全部盛り込むと一生リリースできなかったりとか…
おまけ
- 2017年3月にメッセージ機能(ベータ版)をリリースした
- メインターゲット（キーマンを紹介してほしい営業マン）に使ってもらうことにフォーカス。訴求文言も営業向けに。
再度、まとめ
- 事業の成長に伴い、設計時にケアすべきことが変わる（規模の増加やユーザ層の変化など）
- リリースまでの時間が伸びたり訴求文言が抽象的になるなどの一面もある
- 案件のターゲットと目的次第では捨てる判断も必要

ユーザベース広田氏：新規サービス立ち上げ時のUX設計

ユーザーベース「経済情報で、世界を変える」
- SPEEDA　B2B 企業業界情報のプラットフォーム
- NEWSPICKS　B2C 今年、米国進出
- entrepedia　B2B
- FORCUS　B2B
新サービスを立ち上げる経験はなかなかないよね
- ゼロから始めるUI/UX設計
  - めったにできない「新サービス設計」
  - だからこそ、学びも多い
- 私たちがファーストユーザー
  - 「自分たちが抱える課題意識」から生まれたサービス
  - 自分たちの体験が新しいユーザーの体験になる
- 仮説だらけのサービス
  - 「擬似サービスのない」全く新しいサービス。
  - 未体験＝すべて手探り。実際に使ってもらいながら検証。
新規サービスの候補として採用したのはABM
- ABMのポイントは3つ
  - リードではなく、アカウント（顧客）にフォーカス
  - アカウント単位で統合されたデータマネジメントと分析
  - マーケティングと営業の融合
ABMで世界を変える！
- ABMの実践を強力にサポートするツールを作る！
FORCASのユーザーってだぁれ？
- まずは、我々（スタッフエクスペリエンス）
- 営業&マーケティング（ファーストユーザー）
プロジェクトメンバーのUXとは？
- フロントのエクスペリエンス：ユーザーが直接触れたり、体験するところ
- バックエンドのエクスペリエンス：それらを創り出す立場
- 両輪揃って、最強のエクスペリエンスでは？
メンバーのエクスペリエンスをデザインする
- サービスの目指す未来がクリアに見えること
  - プロジェクト発足の背景、サービスのコンセプトなどを理解して、目指す未来が視えること。
- 自分たちの仕事に誇りを感じること
  - 自分たちがこれからやろうとしていることの社会的意義を理解し、誇りを保てること
- とにもかくにもモチベーションUP
  - 意欲的にアイディアを発信し、それぞれのチャレンジを促進できること。
何から始める？
- ブランディング
- ブランドを象徴するデザイン
- ブランドのシンボル
- サービスのコンセプトを感じる、わかりやすくて&考えつくされた
- ロゴのデザイン
コンセプトシートを作って思いを伝えた
ネーミングにもこだわった
初期ユーザのフロントUXの話
- キーは、カスタマーサクセス
  - 顧客の満足度を高めるだけではなく、顧客に成功してもらう。顧客への能動的なアプローチ。
  - 「AirbnbやUberなど、海外で急成長する企業がこのカスタマーサクセスの概念を重要視している」らしい。
  - 期待で契約してくれてるお客さんと密にコミュニケーションをとって、どうやったらセールスや売り上げが良くなるかを一緒に考えていく
  - ソフト面でもサポートしていく
- 現状のヒアリング：ハードとソフトの両面で
  - 利用システム、データのボリューム感、外部データの利用、現状の課題、営業とマーケティングの体制など
- FORCASの導入効果：目標設定
  - 現状の課題に応じた目標設定。FORCASでできることが、より明確になる。
- FORCASの課題：開発スケジュール
  - 仮説だらけのFORCASだけに、導入を通してその仮説がフィットしているのかの検証が必要。フィットしていないものは、すぐに改善するという姿勢を示す。
- カスタマーサクセスは、アジャイルに近い
- 初期ユーザーのカスタマーサクセスの現場で感じたこと
  - 緊張感 → 仮説しきれていたか？
  - 優先順位の調整 → 開発が機能優先になっていないか？
  - ユーザーの期待感 → 機能的な期待感にとどまらない
FORCASの立ち上げを通して学んだこと
- フロントのエクスペリエンスとバックエンドのエクスペリエンス、両輪が揃って最高のエクスペリエンスに！
- 機能的かつエモーショナルな体験設計を目指していきたい